เจมส์ คาร์เนกี ดยุกที่ 3 แห่งไฟฟ์ เกิดเมื่อวันที่ 23 กันยายน พ.ศ. 2472 ณ กรุงลอนดอน เป็นพระโอรสเพียงพระองค์เดียวใน ชาลส์ คาร์เนกี เอิร์ลที่ 11 แห่งโซเทร็ค และ เจ้าหญิงม็อด เคาน์เตสแห่งโซเทร็ค เขาเป็นพระนัดดาใน เจ้าหญิงลูอีส พระราชกุมารี และเป็นพระราชปนัดดาใน พระเจ้าเอ็ดเวิร์ดที่ 7 แห่งสหราชอาณาจักร ในฐานะที่เขาเป็นพระโอรสที่เกิดแก่พระธิดา เขาจึงไม่มีสิทธิ์ในพระอิสริยยศเจ้าในพระราชวงศ์อังกฤษเพียงแต่ถูกจัดให้เป็นพระบรมวงศานุวงศ์เท่านั้น เช่นเดียวกับ อลาสแตร์ วินด์เซอร์ ดยุกที่ 2 แห่งคอนน็อตและสแตรธเอิร์น ญาติของเขา ทั้งนี้เขายังมีศักดิ์เป็นพระญาติวงศ์ใน สมเด็จพระราชินีนาถเอลิซาเบธที่ 2 แห่งสหราชอาณาจักร เจ้าหญิงมาร์กาเรต เคาน์เตสแห่งสโนว์ดอน และ สมเด็จพระราชาธิบดีฮารัลด์ที่ 5 แห่งนอร์เวย์ ผ่านทางพระมารดา